-E 二 


意识 染 The Portrait of Consciouseness 


摘要 


意识 染 计 划 是 一 项 讨论 意识 科学 的 艺术 研究 计划 ,以 李 民 中 的 [ 肖像 计划 J 为 本 研究 提供 一 初 
始 情境 , 本 研究 试图 以 此 肖像 画 行为 为 研究 对 象 , 世 以 机 械 学 习 工 具 从 中 分 类 情境 , 探索 意识 
科学 参与 丈 术 表现 的 可 能 性 。 在 计划 中 设计 了 一 个 艺术 表演 的 概念 装置 , 以 一 由 画家 EMG 资 
料 训 和 练 的 雷 射 光 投 影 同步 实时 参与 肖像 画 过 程 , 使 最 图 的 油 尾 结果 和 结合 了 由 机 械 产 生 的 光线 
和 画家 本 身 主 届 的 现 察 , 此 概念 装置 可 以 被 视 为 由 数据 做 为 意识 表现 的 哲学 上 的 艺术 表现 。 
本 计划 对 意识 科学 的 先导 研究 包括 了 当代 意识 科学 领域 的 初步 认识 、 数 据 能 否 作 为 呈现 意识 
的 一 种 手段 的 正 反 方 立 场 收 集 ,， 以 及 机 械 学 习 技 术 的 练习 与 探索 。 


二 立 |\ 工 妆 Ac 
1. 意识 科学 研究 范 图 设 定 
在 一 开始 的 研究 范围 设 定 大概 分 为 两 种 , 第 一 个 是 探 用 [意识 是 可 以 用 资料 表现 且 量 化 的 上 ， 
第 二 种 是 [由 於 当代 脑 神 经 科学 的 有 限 知识 , 因此 意识 是 无 法 被 讨论 的 」。 而 关於 如 何在 艺术 
表现 上 和 结合 [什么 是 意识 」 的 讨论 的 想法 , 也 随 著 对 研究 的 理解 上 的 增进 而 逐渐 被 修正 。 关 允 
意识 的 研究 参考 论点 , 在 本 计划 中 主要 围绕 三 个 人 : 朱 利 奥 . 托 谐 尼 (Giulio Tononi)、 大 本 查 莫 
锁 (David Chalmers)、 大 本 普 莱 司 提 (Dr David E. Presti) 。 


1.1 朱 利 奥 . 托 族 尼 


整合 信息 理论 (Integrated Information Theory, IIT) 是 由 威斯康辛 大 学 的 精神 病 学 家 和 神经 科 
学 家 朱 利 奥 : 托 话 尼 (Giulio Tononi) 所 提出 , 他 和 Masafumi Oizumi 和 Larissa Albantakis 发 
表 的 [从 现象 学 到 意识 机 制 :整合 信息 理论 3.01(From the Phenomenology to the Mechanisms 
of Consciousness: Integrated Information Theory 3.0) 其 探讨 了 整合 信息 理论 的 最 新 版 本 对 
於 意识 的 理解 和 解释 , 绅 在 深入 探讨 意识 的 现象 学 特征 以 及 如 何 将 过 些 特征 与 生物 神经 机 制 
联 殖 起 来 .不论 是 哪 种 系统 , 资讯 整合 理论 试图 去 预测 该 系统 具 人 备 多 少 意识 , 一 个 系统 的 意识 
程度 取决 於 系 统 中 [因果 关 傈 4 的 属性 和 质量 。 根 据 资 讯 整合 理论 , 过 个 统一 的 体验 依 屯 於 大 
脑 将 收 到 的 所 有 感觉 信息 融合 (或 整合 ) 为 一 体 的 能 力 。 为 了 度量 整合 的 程度 , Tononi 利用 了 
美国 工程 师 Claude Shannon (资讯 理论 创始 人 ) 在 20 世纪 中 期 创 措 的 资讯 理论 的 数学 原理 

,下 将 其 应 用 到 了 大 脑 上 。 按照 信息 整合 理论 , 过 些 信 息 度 量 指标 允许 我 们 计算 出 一 个 唯一 精 
准 的 数字 来 描述 任 一 时 刻 大 脑 中 信息 整合 的 程度 。 过 个 度量 数字 被 Tononi 称 为 [Phij( 中 ), 站 
被 当 作 意识 的 指数 。 一 个 系统 的 Phi 越 高 , 则 它 的 意识 程度 就 越 高 , 而 不 管 它 是 一 个 小 孩 的 神 
经 系统 、 或 是 一 焦 猫 的 、 甚 至 是 一 焦 球 号 的 。 资讯 整合 理论 的 有 趣 之 处 在 论 , 意识 实体 站 不 一 
定 非 得 是 有 生命 的 有 机 苯 , 任何 一 种 能 整合 信息 的 系统 , 不 论 它 是 基 於 碳 元 素 , 冰 是 由 夏 晶 
片 、 金 属 线 圈 和 组成, 都 能 产生 意识 状态 。 现 代 计 算 机 作为 信息 处 理 器 具备 了 一 定 和 经 验 , 但 过 些 
经验 可 能 还 太 少 ,以致 伦 人 类 } 交 以 察 帆 。 


Fig. 1. Phi, 资讯 整合 理论 中 所 使 用 的 来 度量 意识 的 单位 。 
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Fig. 2. 在 Coding Mental States from EEG Signals and Evaluating their Integrated Information Content: a Computational 
Intelligence Approach 文献 中 作者 以 Emotiv 穿戴 EEG 感应 器 补 捉 了 受 试 者 的 Gamma 波 , 再 利用 威斯康辛 大 学 睡 眼 和 意识 中 
心 网 站 提供 的 工具 , 去 计算 (假设 式 的 ) 特 定 模式 的 中 值 。 


1.2 大 卫 查 莫 尔 


另外 一 种 研究 意识 的 途 逐 我 参考 了 大 本 查 莫 尔 (David Chalmers), 他 提 到 研究 意识 过 一 门 科 
学 需要 建立 一 些 基 础 概念 , 站 提出 两 个 简单 的 想法 , 第 一 个 是 , 意识 是 一 种 基本 概念 (或 定律 ) 
， 比 如 重力 定律 , 或 量子 力学 定律 ， 过 些 基本 性 质 和 定律 范 不 能 解释 一 些 比 定律 本 身 更 为 基 
兢 的 东西 , 过 张 基本 定律 的 范围 会 不 定时 的 扩大 , 像 是 19 世纪 Maxwell 发 现 不 能 用 当时 存在 
的 基本 概念 空间 、 时 间 、 质量 , 或 是 牛顿 定律 解释 电磁 现象 重新 设 定 了 电磁 现象 的 基本 
定律 , 设 定 电荷 作为 过 些 定律 的 基本 元 素 。 大生 认为 过 与 我 们 在 研究 意识 上 的 情形 是 一 样 的 ， 
如 果 你 不 能 用 现 有 的 基本 定律 来 解释 意识 , 那么 从 跑 辑 上 来 讲 ,我 们 就 应 该 扩展 基本 定律 的 
清单 因此, 自然 应 该 假设 意识 为 某 种 根本 的 东西 , 自然 界 中 最 基本 的 一 部 分 , 过 不 意味 著 就 
不 能 用 它 来 研究 科学 , 它 为 研究 科学 开关 了 一 人 条 新 路 , 我 们 需要 做 的 就 是 研究 控制 意识 的 基 
本 定律 , 那些 将 意识 与 其 他 基本 概念 , 空间 时间、 质量 相 联 壹 的 概念 。 第 二 个 想法 是 , 意识 也 
许 是 普通 存在 的 , 过 点 与 Toroni 提出 的 论述 相似 , 每 个 系统 都 有 某 种 程度 的 意识 , 过 种 观点 
被 称 作 泛 心 论 , 任何 事物 此 有 心理 活动 , 每 个 系统 都 是 有 意识 的 , 不 仅仅 是 人 类 、 狗 、 老鼠 、 矿 
晴 ， 甚 至 Rob Knight 的 微生物 , 基本 粒子 都 有 意识 , 甚至 一 个 光子 都 有 某 种 程度 的 意识 、 一 
些 原始 的 主 届 体 验 , 一 些 原始 的 意识 的 前 兆 , 他 认为 在 物理 和 意识 中 间 有 许多 精妙 的 连结 , 尤 
其 是 在 量子 物理 之 中 。 和 纺 而 言 之 我 们 不 应 该 将 意识 抛 除 在 物理 科学 的 讨论 之 外 , 而 是 应 该 要 
在 其 中 找到 意识 的 [角色 4， 也 许 我 们 必须 把 [意识 J 认 同 为 一 个 无 法 再 被 入 减 的 最 小 单位 , 正 
如 时 间 、 空间 和 和 质量 在 物理 学 壬 的 位 置 , 像 是 现今 一 种 主流 的 假 褒 :在 量子 力学 壬 波 本 数 是 被 
意识 给 骨 解 的 , 或 是 波 画 数 骨 解 正 是 意识 本 身 , 它们 是 一 体 的 。 


1.3 大 本 普 茉 司 提 

相 较 於 以 上 二 者 , 大 本 普 茉 司 提 (Dr David E. Presti) 强调 关於 意识 可 以 被 数学 化 或 是 被 工具 
化 的 主张 只 是 一 种 假设 , 或 是 使 用 假 褒 站 [哲学 式 的 J 讨 论 意 识 的 途径 。 他 关注 从 物理 主义 下 

探讨 身心 问题 (Mind-Body Problem) 一 关於 意识 心智、 物理 上 的 觅 部 之 间 的 连结 , 过 壬 开始 

我 们 所 谓 的 什么 是 [意识 的 生物 性 基 磅 问 题 1: 什 么 是 心智 ?什么 是 意识 ?在 某 个 程度 上 人 的 

大 脑 是 可 以 被 测量 的 , 人 的 身体 和 心智 是 人 类 所 有 所 有 的 一 切 去 体验 过 个 世界 , 但 是 唯一 能 

证 明和 过 件 事 的 方法 就 是 透 过 感知 , 而 [感知 J 亦 是 意识 的 一 部 份 ( 所 以 无法 证 明 ) 。 他 对 意识 的 

定义 是 我 们 体验 过 个 世界 的 方式 ,是 以 [我 J 过 个 主 宙 的 [容量 J 和 范围 内 所 能 感知 到 的 一 切 , 但 

他 把 [心智 (mind) 定 闵 为 一 种 集体 心理 和 经验 (collective mental experience) 像 是 [我 J 的 想法 、 
感受 、 知 觉 如 颜色 、 味道、 音乐 或 是 自我 形象 等 。 心智 似乎 是 一 个 比较 大 的 范 团 , 通常 我 们 透 

过 我 们 的 意识 去 体验 过 些 心智 感受 , 包括 无 意识 的 情形 下 发 生 的 心智 活动 , 我 们 是 谁 ? 我 们 

怎 和 友和 我 们 所 请 的 现实 连结 ? 什么 是 的 的 确 确 的 现实 ?在 意识 的 框架 下 过 个 问题 释 得 很 广泛 
,我 们 所 知道 的 一 切 都 是 透 过 [意识 感知 J 过 个 模式 来 理解 , 之 所 以 为 什么 意识 是 什么 会 是 一 

个 巨大 的 题目 , 过 是 所 有 问题 的 核心 , 牵涉 到 我 们 所 做 的 一 切 事 情 。 物理 是 我 们 诠释 世界 的 一 
切 基 砸 , 化 学 是 解释 物质 的 基础 ,基本 上 膛 是 物理 的 延伸 , 但 研究 的 尺度 是 向 下 缩减 , 缩减 一 


路 到 薛 丁 格 的 量子 力学 , 然后 到 生物 科学 , 也 就 是 物理 和 化 学 的 衍生 , 然后 神经 科学 neural 
siecnce) 加 在 诸 上 , 五 十 年 前 开始 成 为 研究 主流 , 然后 下 一 步 就 是 心智 。 他 认为 物理 主义 人 


physicalism) ,只 是 一 种 哲学 主义 主张 或 世界 观 ;我 们 应 该 能 久 根 据 物 理学 中 的 基础 元 素 像 是 
物质 、 能 量 , 来 完美 的 诠释 过 个 世界 的 所 有 事物 ,就 像 现 在 如 果 你 对 事物 的 诠释 不 属於 以 上 二 
炎 项 (物理 、 化 学 、 生物 学 ), 但 其 实 你 也 只 是 在 提供 一 种 世界 届 。 以 19 世纪 末 的 一 位 闵 大 利 解 
剖 学 家 Golgi 为 例 , 他 用 作 了 一 系列 史上 最 精美 的 脑 神 经 素描 , 直到 一 百年 后 也 没有 人 能 超 
越 他 复杂 的 成 就 。 他 能 做 出 过 育 精 美的 素描 是 因为 1870 年 他 发 现 一 种 神经 染色 的 方式 ， 能 
让 神经 对 染 剂 产生 黑 反 应 ,有趣 的 是 过 些 精 美的 素描 只 呈现 了 1% 的 神经 数量 , 可 以 推断 人 的 
意识 只 有 很 小 一 部 分 为 人 所 利用 。 当 代 科 学 工具 探讨 意识 的 主要 研究 方向 有 脑病 释 , 如 中 风 
或 是 瘾 痫 , 或 是 从 药理 性 面向 去 探索 关於 脑 部 的 生理 部 分 怎么 和 意识 过 结 。 但 如 Tononi 宣称 
的 我 们 用 一 种 简 省 的 方程 式 去 解释 意识 , 那 就 只 是 一 种 宗教 , 从 那些 方程 式 竺 根本 就 得 不 到 
任何 可 信 的 答案 , 因为 根本 没有 人 知道 脑 壬 面 玫 生 了 什么 事 , 你 无 从 得 知 死 后 的 世界 , 任何 宜 
称 有 答案 的 人 都 是 不 可 信 的 。 


1 https:/publicdomainreview.org/collectiomilustrations-of-the-nervous-system-golgi-and-cajal/ 


Fig. 3. Part of a vertical section through the fascia dentata. Plate XXlll from Camillo Golgis Sulla fina anatomia degli organi 
centrali del sistema nervoso (1885) 


2. 使 用 机 械 学 普 工 具 为 社交 情境 做 情境 分 类 一 以 肖 
像 计 划 为 研究 案例 


2.1 机 械 学 习 工 具 


肖像 画 计划 是 艺术 家 李 民 中 自 2011 年 起 开始 的 创作 计划 , 已 为 杰 百 位 民 厌 措 作 了 肖像 书 答 
措 , 我 对 书 家 长 期 观 查 受 纵 者 的 经验 感到 好 奇 , 站 希望 能 透 过 机 械 学 习 工 具 提 取 肖 像 画 中 的 
行为 模式 , 汞 在 广义 的 程度 上 与 意识 科学 产生 连结 (研究 后 期 发 现 此 为 廖 论 ) 。 过 壬 的 [意识 
指 的 是 书 家 和 与 受 给 者 之 问 所 产生 的 潜在 互动 模式 ,以 及 此 模式 影响 书 作 产 出 的 情况 。 在 研究 
初期 对 机 械 学 习 膛 不 是 很 了 解 的 时 候 , 首先 的 概念 模型 是 藉 由 书 家 的 肌 电 资料 [EMG) 以 及 画 
作 , 找 出 肖像 书 行 为 过 程 与 书 作 之 间 的 关 过 性 。 为 了 研究 中 视觉 辨识 的 目的 , 在 计划 中 学 习 了 
两 个 机 械 学 习 工 具 , 第 一 个 工具 是 由 Google 开发 的 卷 积 神经 网 路 Convolutional Neural 
Network(CNN) Mobilenet2，Mobilenet 移 络 是 由 Google 针对 手机 和 诸 入 式 应 用 提出 的 一 种 
轻 量 和 级 的 深度 神经 网 和 络 , 其 主要 特点 是 使 用 深度 可 分 享 卷 积 (depthwise separable 
convolution) 来 蔡 代 普通 耸 积 , 从 而 减少 计算 量 ,提高 网 络 的 计算 效率 。 另 外 由 於 在 今年 (2018 
)9 月 node.js 系统 被 整合 进 Max/MSP, 加 上 今年 Google 发 表 了 tensorflow.js, 因此 遐 择 在 
Max/MSP 中 透 过 node 执行 mobilenet, 过 样 可 以 同时 将 雷 射 系统 与 机 械 学 习 工 具 都 整合 在 
Max 中 。 第 二 个 工具 MuBu library 是 由 1IRCAM 的 Sound Music Movement Interaction Team 
(ISMM) 转 队 开 发 , 用 於 声 音 和 动态 多 模 驴 分 析 、 交 互 式 声音 合成 和 机 器 学 习 的 工具 , 被 用 来 
将 EMG 讯号 分 类 。 


Fig. 4. 雷 射 染 实验 进行 过 程 筷 朱 。 


研究 中 只 收集 了 画家 进行 肖 象 画 的 EMG 资料 共 五 笔 , 在 过 实 Mubu 被 使 用 来 分 类 忌 家 的 肌 
电 资 料 , 范 能 即时 分 类 不 同 手势 动作 , 其 产生 出 的 模型 被 预期 与 Mobilenet 所 产 出 的 模型 配对 
芷 产生 相关 过 关 系 , 但 此 相关 囊 关 系 在 本 研究 中 站 未 完成 。 


2 https://www.youtube.com/watch?v=zp0sc7e_fqM 
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Fig. 5. 在 计划 中 进行 的 五 次 肖像 画 油 书 作品 以 及 相对 应 的 EMG 模型 结果 。 


另外 在 喜 验 初期 赴 未 学 会 使 用 Mobilenet 卷 积 神经 网 路 来 做 图 像 识 别 时 ， 我 使 用 了 一 个 有 趣 
的 替代 方案 ;中 然 MuBu 不 是 用 来 辨识 视觉 的 工具 , 在 研究 初期 MuBu 被 使 用 来 辨识 从 
CCTV 摄影 机 输出 的 NTSC 单一 类 上 比 读 号?, 传统 的 CCTV 资料 格式 探 用 NTSC 格式 , 可 由 
一 个 单一 且 连 和 纺 的 类 上 比 波 型 描述 所 有 的 电视 操 描 线 , 仅 管 各 是 一 个 有 趣 仓 不 是 很 有 效 的 途 
径 。 结果 显示 MuBu 的 确 可 以 辨识 图 像 , 但 如 果 忆 作 或 是 CCTV 的 角度 改 释 了 ,辨识 度 会 明 
显 下 降 , 不 像 卷 积 神经 网 络 能 在 各 种 角度 下 根据 图 像 的 特征 做 识别 。 
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Composite video，The NTSC video slgnal conslsts of 30 compjlete frames (images) per sccond、 with each 
frame containing 480 to 486 lines of video， Each frame is broken into two ficlds, one containing the odd lines 
and the other containing the even lnes，Each field starts with a group of vertical sync pulses, followed by 
successlve lines of video informaton separated by horizontal sync pulses，(ITbe horizontal axls of thls 人 gure 
is not drawn to scale). 


Fig. 6. NTSC 视频 信号 每 秒 包 含 30 个 完整 的 帧 (图 像 ) 。 每 帧 包含 480 到 486 行 视频 。 每 个 帧 分 为 两 个 场 , 一 个 包含 奇数 行 ， 
另 一 个 包含 偶数 行 。 每 个 场 以 一 组 垂直 同步 脾 冲 开始 , 随后 是 由 水 平 同步 有 衢 分 隔 的 连续 视频 信息 行 。( 过 个 未 来 的 横 轴 未 按 
比例 给 多 ) 。 


3 https:/www.youtube.com/watch?v=YAflIHoH1EO4 
4Steven W. Smith, Ph.D. The Scientist and Engineers Guide to 


Digital Signal Processing. http:/www.dspguide.com/ch23/3.htm+televisionvideo&amp;sa=X 
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Fig. 7. Google mobilenet 在 Max/MSP 中 执行 的 情况 , 能 即时 辨认 常用 物件 , 此 为 本 计划 第 一 个 使 用 CNN 辩 识 图 像 的 尽 试 。 


2.2 机 械 学 习 模 型 上 呈 人 类 主观 观察 共 措 的 油画 作品 


为 降低 研究 交 度 与 成 本 , 没有 遗 择 研 究 脑 波 资 料 , 研究 初期 只 关注 单一 EMG 资料 , 透 过 五 次 
肖像 画 象征 式 的 收集 了 画家 的 EMG 资料 以 及 忆 作 , 站 设 计 出 一 概念 表演 装置 : 忆 家 、 模特 多 
以 及 雷 射 装 置 被 放置 在 同一 个 房间 内 , 书 家 的 惯用 手 装 备 了 Mayo EMG 感应 手 环 , 画 者 的 

EMG 被 纪 儿 薄 转 为 雷 射 光 投影 ,站 依据 训 和 缂 资料 模型 来 改 释 环境 光 颜 色 , 藉 由 环境 光 来 介入 
尾 家 的 现 察 和 和 纵 尾 过 程 , 最 图 机 械 训 和 张 的 结果 被 半 象 征 式 的 纪 儿 在 油 尾 作品 里 , 其 步 配 如 下 : 


画 家 对 受 给 者 的 脸 部 观 查 以 及 互动 

尾 家 开始 给 作 , 手腕 上 的 穿戴 装置 开始 倘 测 EMG 

训 张 好 的 机 械 学 习 模 型 开始 对 情景 产生 分 类 

雷 射 机 根据 分 类 有 开始 对 受 给 者 以 及 房间 产生 不 同 颜色 与 形状 的 投影 
重复 以 上 循环 到 画作 完成 


O 上 ownN 一 


3. Discussion and Conclusion 


本 研究 计划 内 容 多 是 文献 调查 与 技能 学 习 , 资讯 整合 理论 类 似 古 老 哲 学 观点 [ 泛 心 论 J 的 当代 
表达 。 资讯 整合 理论 告诉 我 们 能 够 测量 出 意识 的 程度 (Phi p), 但 仓 无 法 回答 不 同 信 息 是 如 何 
产生 不 同感 受 的 。 资 讯 整合 理论 可 能 是 一 种 宗教 , 或 者 至 少 在 很 大 程度 上 依 顿 於 同意 的 美学 ， 
从 现象 学 到 机 制 的 过 种 跳 趴 的 能 力 基 本 上 取决 於 资讯 整合 理论 的 假设 , 即 有 意识 的 经 验 可 以 
被 底层 物理 系统 完全 解释 , 那 便 代表 物理 系统 必须 受到 经 验 属 性 的 约束 。 事 实 上 , 它 只 是 使 意 
识 成 为 一 种 假设 和 定义 。 但 因为 资讯 整合 理论 提出 了 具体 的 数学 模型 , 因此 很 送 合 被 使 用 来 
产 出 诗意 的 科技 艺术 。 但 理论 对 现实 的 真相 一 无 所 知 , 它 可 能 只 是 一 种 对 现实 的 描述 , 公议 我 
们 能 级 谈论 我 们 对 现实 的 体验 。 它 也 可 能 是 预测 性 的 (科学 家 们 的 希望 ), 和 意味 著 我 们 已 经 
成 功 地 模 据 了 一 些 关 於 [ 现 实 J4 的 观察 , 足以 将 探 未 来 。 意识 的 问题 在 於 , 很 鸡 设 它 不 仅仅 是 描 
述 我 们 对 世界 体验 的 近似 术语 。 当 人 们 试图 超越 未 知 的 事物 时 ,就 会 物化 理论 ,然后 就 有 一 
堆 随 之 而 来 的 谬误 : 像 是 大 脑 (以 某 种 方式 ) 允 造 意识 , 但 它 没有 , 所 谓 的 心智 也 没有 , 但 我 们 
永 速 不 要 忘记 我 们 开始 的 自然 科学 假设 永 束 是 临时 的 且 可 修改 的 事物 。 


另外 由 Adrian Freed 所 提出 的 Semblance Typology of Entrainments, 从 拉丁 共同 字 根 来 探 
讨 连 乔 性 , 在 数学 形式 上 其 概念 已 在 Towards realtime measurement of connectedness in 


human movement 一 文中 广义 的 运用 在 自动 侦 测 如 何 探知 社会 心理 学 上 的 人 际 互动 , 以 及 如 
何 将 一 维 信 号 中 的 连接 信 视 为 多 和 维 现象 , 过 是 一 个 在 未 来 值得 探索 的 方向 。 
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